Thành Bản Phủ

Thành Bản Phủ ở phố Cao Bình thuộc xã Hưng Đạo là di tích lịch sử của hai thời kỳ. Thời kỳ thứ nhất tương truyền là vua Thục Chế (cha của vua Thục Phán) lấy Cao Bình làm kinh đô nước Nam Cương gọi là Nam Bình, lấy thành Bản Phủ làm vương phủ, xây dựng vào năm 214 trước công nguyên. Thời kỳ thứ 2 là nhà Mạc thất thế ở Thăng Long chạy lên Cao Bằng (1594 - 1677) cũng chọn Bản Phủ đóng làm vương phủ, nơi thiết triều của ba đời vua Mạc là Mạc Kính Cung, Mạc Kính Khoan và Mạc Kính Vũ, trải dài 83 năm.

Chùa Đống Lân

Chùa Đống Lân thuộc xóm Hồng Quang 2, xã Hưng Đạo là di tích lịch sử văn hoá nổi tiếng của tỉnh Cao Bằng.

Thời thập nhị sứ quân (tức thời kỳ 12 sứ quân trị vì), ở Châu Thạch Lâm có hai anh em Trần Quý và Trần Kiên nổi tiếng là người biết nghề thuốc, có kinh nghiệm trừ được rắn độc. Các ông có tài trừ tà ma, yêu quái đã giúp cho dân chúng yên ổn làm ăn. Đinh Bộ Lĩnh dẹp loạn 12 sứ quân bị thương đã mời hai ông đã tận tình cứu chữa. Khi các ông mất Vua Đinh Tiên Hoàng cấp đất cho dân dựng đền tại đỉnh Khau Dủa, phía bắc làng Nà Vài. Đỉnh Khau Dủa núi cao, khe sâu rừng rậm, nhiều thú dữ, đi lại khó khăn, nguy hiểm. Nhân dân làm lễ cầu khẩn xin chuyển vị trí đền. Sau khi làm lễ vào một ngày trời không mưa không nắng, có một cơn lốc ập tới làm tốc cả mái đền, một gắp gianh bay là là rơi xuống sườn nam gò Đống Lân. Nhân dân dựng đền tại đó và rước bát hương từ Khau Dủa về thờ.